Источник вдохновения: https://heather.cs.ucdavis.edu/polygrail.pdf

А почему бы нам не вставить полином xTAx+wTx+b вместо простого wTx+b ( Read more... )

y=xᵀ(A-B)x + wᵀx + b, где A=aaᵀ, B=bbᵀ, то есть, самый простой вариант симметричной матрицы неполного ранга.

Поскольку это "проект выходного дня", о результатах отчитаюсь нескоро. ;)

Пока выглядит очень неплохо, на моих игрушечных задачках.

https://arxiv.org/pdf/1711.03953.pdf

Давайте замешаем несколько softmax через дополнительный softmax. ;)

Интересно в этом следующее: насколько получаемое распределение соответствует закону Ципфа?

Ответа у меня и у авторов статьи нет.

https://yoshuabengio.org/2022/03/05/generative-flow-networks/ - чему радуется Бенжио и ( Read more... )

Вот это вот: diag(d) + uvT. Диагональ и внешнее произведение.

Посмотрите на выражение для определителя такой матрицы:

det(diag(d) + uvT) = (1 + trace(diag(d)-1uvT)det(diag(d ( Read more... )

Интересная статья про то, как свёрточные сети смогли подвинуть рекуррентные сети.

Как в этом случае организовано преобразование входа в выход:
P3
/\
|
| <- преобразование для предсказания ( Read more... )

При обучении рекуррентной нейросети мы подаём N входов и N+1 меток:
L0 L1 L2
/\ /\ /\
| | |
S0 -> S1 -> S2
/\ /\
| |
I0 I1
Классификаций 3, преобразований состояния из предыдущего и входа - 2 ( Read more... )

...предлагается взглянуть на DOP, применённый к HIGGS.

DOP - это сокращение от "diagonal outer product". В выражении для аффинного преобразования Ax+b плотная матрица A заменена на сумму diag(d)+uvT. То есть, теперь выражение выглядит, как (diag(d)+uvT)x+b. Вместо N(N+1) коэффициентов мы получаем 4N коэффициентов ( Read more... )

https://github.com/thesz/higgs-logistic-regression

Взял HIGGS dataset, натравил на него логистическое приближение (logistic regression) с оптимизацией методом последовательно перевзвешенных наименьших квадратов (Iterated Reweighted Least Squares) и получил для всего ( Read more... )

Word2vec это способ вычисления "вложений" (embeddings) для слов, основываясь на их окружении в тех местах, где они встречаются ( Read more... )